OpenVLA-OFT:把 OpenVLA 的微调改快改准
论文:Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success(Stanford,2025)。这篇不引入新模型,只讨论一个具体问题:给一个训好的 OpenVLA,怎么在下游任务上微调得又快又准。作者的答案是三个设计——并行动作解码、动作分块、连续动作表示——组合起来推断快 25 倍,成功率还更高。
1. 原版 OpenVLA 微调的三个问题
原版 OpenVLA 的动作输出方式是 RT-2 那一套:每个动作维度离散化成 256 bin,自回归生成 7 个 token。这个设计在预训练阶段没问题,但用到下游微调时暴露三个问题。
问题一:自回归推断慢。7 个 token 需要 7 次前向传播,在 RTX 4090 上 OpenVLA 大约 6 Hz。对 50Hz 的双臂精细任务完全不够。
问题二:单步动作没有时序一致性。OpenVLA 每次只预测下一步动作,跟 ACT 的 action chunking 相比缺少块内协调。相邻步的动作是独立生成的,容易抖动。
问题三:离散化限制精度。256 bin 对 30cm 位移是 1.2mm 精度,对精细任务不够;对全局 workspace 更粗。
OFT(Optimized Fine-Tuning)针对每一点提出对应改动。
2. 三个设计
2.1 并行动作解码
自回归的问题在于每个 token 必须看前面所有 token 才能生成。但机器人动作 7 个维度之间的依赖关系其实很弱—— 和 大部分时候是并行采样的,不需要严格按顺序。
OFT 的做法是把动作输出改成并行解码:一次前向传播同时输出 7 个动作维度(对整个动作块也一样)。具体实现是把动作位置全部换成"预测占位符 token",让模型的最后一层同时输出所有位置的动作预测,而不是自回归展开。
这个改动本身不损失多少精度,但推断步数从 7 降到 1,直接快 7 倍。
2.2 动作分块
沿用 ACT 和 π0 的思路:一次预测 步动作( 或 ),执行前几步之后再重新推断。
分块的两个好处:
- 摊销推断成本:一次前向出 步动作,等效推断频率是 原始频率
- 时序一致性:块内动作用同一次前向的表征生成,相邻步更协调,抖动减少
结合并行解码,一次前向能同时输出 个动作值。
2.3 连续动作表示
放弃 256 bin 离散化,直接让模型输出连续实数,用 L1 损失训练: